诱饵方向优化：针对 LLM 消融攻击的事后防御
🧭 LLM 安全 · 权重编辑防御
Carnegie Mellon University
注入高幅非线性诱饵方向扰乱攻击者的消融估计器，低成本后处理防御 RFA
📌 工作参考价值（4 点）
- 若业务部署开源 LLM 做客服/内容审核，担心白盒消融攻击移除安全护栏，可用 DDO 做一次性后处理权重编辑，免去每个新 checkpoint 全量安全微调，优化成本低 30–450 倍。
- 借鉴思路：不隐藏真实拒绝特征，主动注入高幅非线性“诱饵”方向，让攻击者的对比估计失效并消融到无害正交特征，适合保护模型核心能力不被逆向抽取或探测。
- 工程实现只修改 MLP 神经元权重，不改变推理架构、不引入额外 KV cache 或算子，便于接入现有推理管线，风险低。
- 对推荐/Agent 场景，若部署专有策略模型，可利用“注入伪特征”增加黑盒探测成本，类似对抗防御思路保护知识产权。
演化式模型与领域特定安全 Harness 框架
🧭 Agent 安全防御与自动化 harness 合成
Johns Hopkins University · University of Wisconsin–Madison · NVIDIA · University of Illinois Urbana–Champaign · UC Berkeley
自动合成针对冻结模型与目标领域的安全 harness，联合搜索自然语言策略和可执行代码逻辑，在保障效用下大幅降低攻击成功率
📌 工作参考价值（4 点）
- 在推荐/搜索 Agent 中增加独立安全层：将安全 harness 与推荐逻辑解耦，自动生成针对特定模型和业务域的策略与代码，避免手工编写规则，可快速适配不同推荐模型（如 LLM 推荐生成式商品描述）。
- 模型-领域特定的安全阈值自动调优：借鉴其联合搜索策略，为每个推荐模型和场景（如电商导购、广告文案生成）自动发现最优的安全约束强度，平衡过度拦截与安全漏洞，节省人工调优成本。
- 将领域合规要求嵌入可执行代码：类似地提取电商/广告领域的业务安全关系（如广告法违禁词、价格合规），编译为可执行的过滤逻辑，并集成到 Agent 的动作执行前检查中。
- 对抗性评估与在线迭代：在发布推荐 Agent 前，使用类似 PAIR 的自适应攻击模拟恶意输入或提示注入，评估防御有效性；将对抗审查作为持续集成的一部分，动态更新安全 harness。
通过测试时提示自适应增强视觉-语言模型鲁棒性
🧭 测试时自适应 · 多模态对齐 · 对抗鲁棒性
National University of Singapore · University of Science and Technology of China · The Hong Kong University of Science and Technology
提出分布级最优传输对齐与动态缓存的测试时提示适应方法，大幅提升VLM对抗鲁棒性且无损清洁性能
📌 工作参考价值（4 点）
- 测试时适应思想可迁移至搜索推荐系统的在线学习：当数据分布因季节、事件或对抗攻击发生偏移，借鉴RITA的分布级对齐而非样本级校正，提升模型鲁棒性。
- 多模态推荐中视觉与文本特征对齐是关键瓶颈：最优传输（Optimal Transport）的分布匹配方法可直接用于对齐商品图像与标题（或用户评论）的特征空间，缓解语义错位。
- 动态缓存（dynamic cache）累积可靠测试样本的思路适合电商推荐的高频流式更新：设计信任度阈值，仅将高质量预测样本加入缓存，逐步优化提示或轻量适配器，实现低延迟在线进化。
- 增强视图（augmented views）保留语义完整性的观察可启发搜索推荐中的“多视图”特征利用：例如同一商品的不同角度、背景，通过分布视角聚合来抵抗图像噪声或恶意对抗样本。
注视引导的动态令牌选择让视觉 Transformer 更鲁棒高效
🧭 高效视觉Transformer · 动态令牌选择
Advanced Research Lab, NavInfo Europe · Eindhoven University of Technology
模拟人眼中央凹视觉，动态选择重要 token 并融合多尺度信息，在 50% 预算下超越 DeiT-S 且计算量降低 34.57%
📌 工作参考价值（4 点）
- 论文属于计算机视觉领域，与推荐系统、对话 Agent 等无直接关联，业务可借鉴的模块和方法有限。
- 动态 token 选择的思想可类比于用户行为序列处理：在计算资源受限时，通过简单前馈模块（类似 fixation）丢弃不重要的行为 token，保留关键交互，可提升效率且潜在增强鲁棒性。
- 多尺度“中央凹”嵌入生成方式（foveation）可启发商品图像编码：对商品图的不同区域按显著性分配注意力分辨率，在图像搜索或推荐缩略图生成中平衡精度与算力。
- 无额外对抗训练即获得鲁棒性的特性，提示在推荐模型部署时可通过结构设计（而非仅依赖数据增强）改善对噪声特征或异常行为的容忍度。
无需训练的语义概念定位抵御排版攻击
🧭 视觉语言模型鲁棒性 · 机制可解释性
University of Virginia
通过无训练机制解释定位并干预CLIP中偏重文本的注意力头，显著提升视觉模型抗排版攻击鲁棒性
📌 工作参考价值（4 点）
- 无训练的防御思路可直接复用到电商商品图片理解：商品图常叠加促销文字、logo 等，模型易被文字误导，借鉴本方法可通过定位并抑制视觉编码器中词汇偏置的注意力头，不改变模型参数提升对文字干扰的鲁棒性。
- 机制可解释性管线可成为多模态推荐系统的诊断工具：当视觉特征提取器在场景文本上表现异常时，可使用论文的采样归因方法快速定位问题 Circuit，指导针对性干预或微调策略的设计。
- 对 LVLM 的 VQA 抗攻击提升表明，该方法可增强对话式购物助手对用户上传含文字商品图的语义理解能力，避免因包装文字错误识别属性。
- 干预操作简单（仅调整少数注意力头的权重），工程成本低，可作为在线推理阶段的免训练后处理模块，适用于对延迟敏感的推荐系统。
中间层知道什么：从熵动态检测越狱攻击
🧭 LLM安全 · 中间层熵动态
LMU Munich · University of Pisa · CNR-ILC · Oxford Brookes University · Munich Center for Machine Learning
利用LLM中间层token预测熵的单调趋势特征，无需训练即可跨模型检测越狱攻击
📌 工作参考价值（4 点）
- 在电商推荐Agent或对话系统中，可实时监测恶意prompt：提取用户输入token级预测熵的单调秩趋势得分，无需微调模型，适合低延迟在线检测。
- 直接使用中间层logits而非最终输出层计算熵，可捕捉更明显的越狱信号，架构一致性允许跨不同LLM（如Llama、Qwen系列）复用。
- 特征工程聚焦于熵值随token位置的演化轨迹（如单调性），而非简单的均值/方差，这种动态特征对于对抗性输入的微小扰动更鲁棒。
- 该检测方法完全基于冻结模型，不依赖额外安全分类器训练，可快速嵌入已有Agent pipeline，作为安全兜底层。
针对智能体AI自动化攻击的防御性误导分析
🧭 Agent安全防御 · 误导性反馈
Keysight Technologies Inc.
提出检测后给出误导性非操作响应，将自动化越狱攻击成功率上界降低两个数量级
📌 工作参考价值（4 点）
- 对话推荐Agent的防注入策略：当检测到恶意输入时，不要返回统一的拒绝话术（如“我无法回答”），因为这会为自动化攻击提供可预测的反馈信号；改用看似合理但无实际操作的误导性回应，让攻击者误判成功，从而浪费其查询预算。
- 轻量级误导实现CMPE：借鉴文中的渐进式上下文误导方法，在对话状态中维护安全的信息片段，检测到恶意意图后逐步递送无关的“安全诱饵”，既保持对话流自然，又避免泄露系统边界。
- 防御评估指标迁移：用攻击者的阳性预测值（PPV）替代传统的ASR来评估鲁棒性，更能反映在自动化红队场景下误导策略的有效性，适合在电商搜索Agent上线前做对抗测试。
- 工程实现建议：将安全检测与响应生成解耦，检测模块判定恶意度后，将请求转发至专门的“误导生成器”（可用小型微调模型），不增加主流程延迟，对在线服务影响小。